Yakir rút lui sang Ukraine và chiến đấu chống lại lực lượng chiếm đóng Áo-Hung với vai trò chỉ huy một trung đoàn của Hồng quân. Ông bị thương nặng vào tháng 3 năm 1918 gần Ekaterinoslav. Vào đầu cuộc Nội chiến Nga giữa các lực lượng Bolshevik, Quân bạch vệ và nhiều phong trào chống Bolshevik khác, Yakir là thành viên của Đảng Bolshevik ở tỉnh Voronezh và bắt đầu phục vụ trong Hồng quân với tư cách là một ủy viên. Ông đã cho thấy tài năng quân sự và được chỉ định làm chỉ huy.

Vào tháng 10 năm 1918, ông là một thành viên của Hội đồng Cách mạng của Quân đội số 8 ở Mặt trận phía Nam và đồng thời chỉ huy Mặt trận miền Nam với các hoạt động chống lại Don Cossacks của Pyotr Krasnov. Ông đã thực hiện lệnh đàn áp của Lenin chống lại các thường dân Cossack và tiêu diệt gần một nửa dân số đàn ông Kazakh. Đối với các chiến công của mình, ông trở thành người thứ hai (sau Vasily Blyukher) nhận được giải thưởng quân sự cao nhất của Liên Xô thời đó, Huân chương cờ đỏ.

Vào mùa hè năm 1919, Yakir được phái đến Ukraina để chỉ huy Sư đoàn 45, và vào tháng 8 năm 1919, ông trở thành tư lệnh của Quân đoàn 12, bao gồm Sư đoàn 45 và Sư đoàn 58. Cả hai sư đoàn bị bao vây ở Odessa bởi Quân bạch vệ. Yakir đã tiến hành một trong những hoạt động quân sự nổi bật nhất trong nội chiến. Ông đã phá vỡ vòng vây và dẫn các lực lượng của mình vòng qua phía sau đối phương khoảng 400 kilômét để hội quân với Hồng quân ở Zhitomir. Giống như các chỉ huy Bolshevik khác không được giáo dục quân sự, ông đã được các cựu sĩ quan quân đội hỗ trợ trong hoạt động này nhưng thực tế này không phủ nhận vai trò của chính ông trong việc lập kế hoạch và dẫn đầu chiến dịch. Đối với chiến dịch này, ông đã nhận được Huân chương cờ đỏ thứ hai. Yakir đã tham gia vào các hành động chống lại các lực lượng bạch vệ của Nikolai Yudenich để bảo vệ Petrograd, tham gia đàn áp lực lượng du kích vô chính phủ Ucraina của Nestor Makhno, và trong cuộc chiến Ba Lan-Xô viết. Ông được trao Huân chương cờ đỏ ba lần (hai lần vào năm 1919 và một lần vào năm 1930), và ông trở thành một trong những chỉ huy Hồng quân được trao huân chương nhiều nhất.